需要技术

• 视觉：
  OpenCV: 这是一个功能强大的计算机视觉库，可以用于检测和追踪人脸、姿态等。这对于在AR试衣应用中准确定位衣物非常有帮助。
  OAK-D是一款嵌入式3D人工智能平台，它在OAK-1的基础上，扩展了两个全局快门高速深度相机，IMU芯片。并且相机内置双目深度计算、AI神经网络推理，帮助用户构建具有真正实时3D对象定位和跟跟踪的产品。 获取高清捕捉

• 视频捕捉

• Integrated Computer Vision Package - OAK-D Lite With Raspberry Pi Set Up

AI换衣功能
a

基本介绍

Burp Suite是一款集成化的渗透测试工具，包含了很多功能，可以帮助我们快速完成对web应用程序的渗透测试和攻击。Burp Suite是由Java语言编写，因为Java是可以跨平台的，所以Burp Suite也是跨平台的，支持windows、linux、mac。

安装pro（Mac）

• 下载注册机&启动器二合一版本

• 官网下载地址：
  Intel版本
  M1版本

1
2
3
4
5
6
7
8
9
10
11
12

## 进入burpsuite Pro.app里的Contents
cd /Applications/Burp Suite Professional.app/Contents

## 编辑vmoptions.txt 追加内容
--add-opens=java.base/java.lang=ALL-UNNAMED
--add-opens=java.base/jdk.internal.org.objectweb.asm=ALL-UNNAMED
--add-opens=java.base/jdk.internal.org.objectweb.asm.tree=ALL-UNNAMED
--add-opens=java.base/jdk.internal.org.objectweb.asm.Opcodes=ALL-UNNAMED
-javaagent:BurpLoaderKeygen.jar
-noverify

## 启动器BurpLoaderKeygen.jar移动到当前app目录

• 双击运行BurpLoaderKeygen.jar
• 运行`

1

"/Library/Java/JavaVirtualMachines/jdk-21.jdk/Contents/Home/bin/java" "--add-opens=java.desktop/javax.swing=ALL-UNNAMED" "--add-opens=java.base/java.lang=ALL-UNNAMED" "--add-opens=java.base/jdk.internal.org.objectweb.asm=ALL-UNNAMED" "--add-opens=java.base/jdk.internal.org.objectweb.asm.tree=ALL-UNNAMED" "--add-opens=java.base/jdk.internal.org.objectweb.asm.Opcodes=ALL-UNNAMED" "-javaagent:/Applications/BurpLoaderKeygen.jar" "-noverify" "-jar" "/Applications/Burp Suite Professional.app/Contents/Resources/app/burpsuite_pro.jar"

代理

cacert.der

功能介绍

https://t0data.gitbooks.io/burpsuite/content/chapter7.html

• 钱币
• 劳力士

目的是为了抗通货膨胀，小兴趣，希望听到不一样的历史故事

钱币

评级机构

古钱币收藏等级（按品相划分）

价值高存世稀少

• 母钱(古钱):用来铸造大量普通钱（子钱）的原模、标准样钱，
  • 官方母钱（官铸母钱），官局（如宝源局、宝泉局等）｜ 材质 - 铜质纯净，色泽金黄或微红 ｜ 收藏价值极高，是真正的“母中之母”
  • 民间母钱（仿母钱 / 私铸母钱）｜ 材质 - 铜、黄铜、甚至合金｜ 收藏价值较低，除非是早期民铸、工艺出色的版本

官方母钱 vs 民间母钱 对比表

• 错版: 一般都是稀有的存在 但要根据实际情况进行判断

  • 稀有度与价值差异

    项目	古钱错版	银币错版
    形成概率	中等（手工多误差）	极低（机器造币标准高）
    稀有度	高（能保存至今不易）	极高（系统性错版极罕）
    市场认知度	传统藏家熟悉	更受现代钱币市场追捧
    价值区间	¥300–¥30,000+（视版型）	¥1,000–¥500,000+（稀有版上拍）
    鉴定难度	高（易伪造）	相对低（机器痕迹可验证）

  • 收藏建议

    收藏方向	建议
    古钱错版	重点关注“异范”、“错字”且有泉谱记载的版本，避免“现代仿错”。
    银币错版	关注“PCGS/NGC认证错币”，真品稀少、市场接受度高。
    投资角度	银币错版更具升值潜力，古钱错版更具文化研究价值。
    收藏搭配	一套古钱错版 + 一套银币错版，可展示从“手工铸造 → 机械造币”的历史演变。

• 样币

  • 样币的收藏与价值

    级别	稀有度	市场价值区间	示例
    清末银样币	极高	¥50,000 – ¥5,000,000+	光绪元宝样币、户部试铸币
    民国样币	高	¥10,000 – ¥1,000,000+	袁世凯样币、孙像开国样币
    现代样币	中高	¥1,000 – ¥100,000+	熊猫金币样币、纪念币试样
    仿样币（后制）	普通	¥100 – ¥1000（工艺品）	收藏纪念用途为主

样币、错版、母钱、纪念币对比表

劳力士

• 机器学习
  • 原理
  • 分成三类 监督学习、无监督学习、强化学习
  • 判别模型、生成模型
  • 距离度量方法
  • 机器学习实操的7个步骤
  • 机器学习脑图
• 机器学习流程
  • 收集数据
  • 预处理 数据预处理
    • 数据清洗
    • 特征工程
  • 选择模型
    • 🚀监督学习 分类、回归
      • 分类案例 如何预测离婚
      • 回归案例 芝麻信用分是怎么来的
      • 主流的监督学习算法
      • 集成学习
    • 🚀非监督学习 聚类、降维
      • 主流的非监督学习算法
  • 训练
  • 评估
  • 参数调整 调优
    • 🚀强化学习的主流算法 免模型学习、有模型学习
  • 预估
• 逻辑回归
  • Logistic 回归简介
  • Logistic 回归的数学表达
  • 如何求解最优的
• 线性回归
  • 岭回归
  • Lasso 回归
  • ElasticNet 回归
  • LWR 局部加权回归
  • 回归模型 - 岭回归
  • 岭回归与线性回归
  • LDA
• 决策树
  • 决策树三要素
• 感知机
  • 感知机模型
  • 感知器的训练
• 朴素贝叶斯
  • 基本概念
  • 贝叶斯公式
  • 条件独立假设
  • 从机器学习视角理解朴素贝叶斯
  • 朴素贝叶斯中的三种模型
• 随机森林
• 支持向量机SVM
  • 础理论 SVM 核方法
  • 基础准备
  • 硬间隔 SVM
  • Kernel SVM
• 回归树
• K近邻算法KNN
• GBDT
• LightGBM
• XGBoost
• 聚类 聚类算法
• 聚类 谱聚类
• 降维 PCA
• 概率图模型 HMM
• 频率派 vs 贝叶斯派
  • 极大似然估计 vs 最大后验估计

机器学习

机器学习的基本思路

1. 把现实生活中的问题抽象成数学模型，并且很清楚模型中不同参数的作用
2. 利用数学方法对这个数学模型进行求解，从而解决现实生活中的问题
3. 评估这个数学模型，是否真正的解决了现实生活中的问题，解决的如何？

原理

1. 上面提到的认字的卡片在机器学习中叫——训练集
2. 上面提到的“一条横线，两条横线”这种区分不同汉字的属性叫——特征
3. 小朋友不断学习的过程叫——建模
4. 学会了识字后总结出来的规律叫——模型

分成三类 监督学习、无监督学习、强化学习

监督学习

监督学习是指我们给算法一个数据集，并且给定正确答案。机器通过数据来学习正确答案的计算方法

我们准备了一大堆猫和狗的照片，我们想让机器学会如何识别猫和狗。当我们使用监督学习的时候，我们需要给这些照片打上标签。

我们给照片打的标签就是“正确答案”，机器通过大量学习，就可以学会在新照片中认出猫和狗。

这种通过大量人工打标签来帮助机器学习的方式就是监督学习。这种学习方式效果非常好，但是成本也非常高。

非监督学习

无监督学习的任务是从给定的数据集中，挖掘出潜在的结构。

我们把一堆猫和狗的照片给机器，不给这些照片打任何标签，但是我们希望机器能够将这些照片分分类。

通过学习，机器会把这些照片分为2类，一类都是猫的照片，一类都是狗的照片。虽然跟上面的监督学习看上去结果差不多，但是有着本质的差别：

非监督学习中，虽然照片分为了猫和狗，但是机器并不知道哪个是猫，哪个是狗。对于机器来说，相当于分成了 A、B 两类。

强化学习

强化学习更接近生物学习的本质，因此有望获得更高的智能。它关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。通过强化学习，一个智能体应该知道在什么状态下应该采取什么行为。

判别模型、生成模型

1. 判别模型

• 代表：K 近邻、感知机（神经网络）、决策树、逻辑斯蒂回归、最大熵模型、SVM、提升方法、条件随机场
• 思想： 由数据直接学习决策函数 或条件概率分布 作为预测的模型。
• 理解： 直观的说，判别模型学习的是类别之间的最优分隔面，反映的是不同类数据之间的差异
• 举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。

2. 生成模型

• 代表：朴素贝叶斯、隐马尔可夫模型、混合高斯模型、贝叶斯网络、马尔可夫随机场

• 思想：由数据学习得到联合概率密度分布 ， 然后求出条件概率分布 作为预测的模型：

• 举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率多少，放到绵羊模型中看概率多少，哪个大就是哪个。

3. 判别模型 vs 生成模型

• 由生成模型能够得到判别模型，但由判别模型得不到生成模型

• 当存在“隐变量”时，只能使用生成模型

隐变量：当我们找不到引起某一现象的原因时，就把这个在起作用，但无法确定的因素，叫“隐变量”

• 判别方法的特点：

  • 缺点：不能反映训练数据本身的特性。
  • 优点：它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。
  • 优点：直接面对预测，往往学习的准确率更高。
  • 优点：由于直接学习P(Y|X)或P(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。

• 生成方法的特点：

  • 优点： 可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度。但它不关心到底划分各类的那个分类边界在哪。
  • 优点：生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型。
  • 优点：当存在隐变量时，仍可以用生成方法学习。此时判别方法就不能用。
  • 缺点：学习和计算过程比较复杂

4. 判别模型、生成模型与监督/无监督学习的关系总结

QA

1. 生成模型和判别模型基本形式，有哪些？

• 生成模型： 朴素贝叶斯、HMM、混合高斯模型、马尔科夫随机场
• 判别模型： LR，SVM，神经网络，CRF，Boosting

距离度量方法

机器学习实操的7个步骤

1. 收集数据
2. 数据准备
3. 选择一个模型
4. 训练
5. 评估
6. 参数调整
7. 预测（开始使用）

案例目标：区分红酒和啤酒

步骤1：收集数据

步骤2：数据准备

我们将数据分成3个部分：训练集（60%）、验证集（20%）、测试集（20%），用于后面的验证和评估工作。

步骤3：选择一个模型

研究人员和数据科学家多年来创造了许多模型。有些非常适合图像数据，有些非常适合于序列（如文本或音乐），有些用于数字数据，有些用于基于文本的数据。

在我们的例子中，由于我们只有2个特征，颜色和酒精度，我们可以使用一个小的线性模型，这是一个相当简单的模型。

• 特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。

  归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。

• 特征选择：

  筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如 相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

步骤4：训练

大部分人都认为这个是最重要的部分，其实并非如此~ 数据数量和质量、还有模型的选择比训练本身重要更多（训练知识台上的3分钟，更重要的是台下的10年功）。

这个过程就不需要人来参与的，机器独立就可以完成，整个过程就好像是在做算术题。因为机器学习的本质就是将问题转化为数学问题，然后解答数学题的过程。

步骤5：评估

一旦训练完成，就可以评估模型是否有用。这是我们之前预留的验证集和测试集发挥作用的地方。评估的指标主要有 准确率、召回率、F值。

这个过程可以让我们看到模型如何对尚未看到的数是如何做预测的。这意味着代表模型在现实世界中的表现。

• 过拟合、欠拟合 判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。
• 误差分析 也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因：是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题 ？

这个过程需要反复迭代，调优-诊断-调优

步骤6：参数调整

完成评估后，您可能希望了解是否可以以任何方式进一步改进训练。我们可以通过调整参数来做到这一点。当我们进行训练时，我们隐含地假设了一些参数，我们可以通过认为的调整这些参数让模型表现的更出色。

工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。

步骤7：预测

我们上面的6个步骤都是为了这一步来服务的。这也是机器学习的价值。这个时候，当我们买来一瓶新的酒，只要告诉机器他的颜色和酒精度，他就会告诉你，这时啤酒还是红酒了。

机器学习脑图

flowchart LR
    A[机器学习模型]
    
    A --> B[有监督模型]
    B --> B1[单模型]
    B1 --> B1B[线性模型]
    B1B --> B1B1[线性回归]
    B1B --> B1B2[逻辑回归]
    B1B --> B1B3[Lasso]
    B1B --> B1B4[Ridge]
    B1B --> B1B5[LDA]
    B1 --> B1C[K-NN]
    B1 --> B1D[决策树]
    B1D --> B1D1[ID3]
    B1D --> B1D2[C5.0]
    B1D --> B1D3[CART]
    B1 --> B1E[神经网络]
    B1E --> B1E1[感知机]
    B1E --> B1E2[神经网络]
    B1 --> B1F[支持向量机]
    B1F --> B1F1[线性可分]
    B1F --> B1F2[线性支持]
    B1F --> B1F3[线性不可分]
    B --> B2[集成学习]
    B2 --> B2A[Boosting]
    B2A --> B2A1[GBDT]
    B2A --> B2A2[AdaBoost]
    B2A --> B2A3[XGBoost]
    B2A --> B2A4[LightGBM]
    B2A --> B2A5[CatBoost]
    B2 --> B2B[Bagging]
    B2B --> B2B1[随机森林]

    A --> C[无监督模型]
    C --> C1[聚类]
    C1 --> C1A[k-means]
    C1 --> C1B[层次聚类]
    C1 --> C1C[谱聚类]
    C --> C2[降维]
    C2 --> C2A[PCA]
    C2 --> C2B[SVD]

    A --> D[强化学习-概率模型]
    D --> D1[EM算法]
    D --> D2[MCMC]
    D --> D3[贝叶斯]
    D3 --> D3A[朴素贝叶斯]
    D3 --> D3B[贝叶斯网络]
    D --> D4[概率图]
    D4 --> D4A[CRF]
    D4 --> D4B[HMM]
    D --> D5[最大熵模型]

QA

1. 如果给你一些数据集，你会如何分类?

根据数据类型选择不同的模型，如LR或者SVM，决策树。

• 假如特征维数较多，可以选择SVM模型，如果样本数量较大可以选择LR模型，但是LR模型需要进行数据预处理

• 假如缺失值较多可以选择决策树

• 还可以在考虑正负样例比比，通过上下采样平衡正负样例比。

2. 分类算法列一些有多少种？

• 单一分类方法： LR， SVM， 决策树， 朴素贝叶斯，神经网络， KNN
• 集成学习算法：基于 Bagging 和 Boosting 算法思想，随机森林，GBDT，Adaboost，XGboost。

机器学习流程

收集数据

预处理 数据预处理

数据清洗

1. 样本采样

• 分类问题： 需要注意样本均衡问题，合适选择正负比例。
• 回归问题： 需要采集数据。
• 对于采样得到的样本，根据需要，需要设定样本权重。
• 当模型不能使用全部的数据来训练时，需要对数据进行采样，设定一定的采样率。

2. 样本过滤

• 结合业务情况进行数据的过滤

• 异常点检测：

  • 偏差检测，例如聚类，最近邻等。
  • 基于统计的异常点检测算法
    例如极差，四分位数间距，均差，标准差等，这种方法适合于挖掘单变量的数值型数据。全距(Range)，又称极差，是用来表示统计资料中的变异量数(measures of variation) ，其最大值与最小值之间的差距；四分位距通常是用来构建箱形图，以及对概率分布的简要图表概述。
  • 基于距离的异常点检测算法，主要通过距离方法来检测异常点，将数据集中与大多数点之间距离大于某个阈值的点视为异常点，主要使用的距离度量方法有绝对距离 ( 曼哈顿距离 ) 、欧氏距离和马氏距离等方法。
  • 基于密度的异常点检测算法，考察当前点周围密度，可以发现局部异常点，例如LOF算法

特征工程

如何处理数据中的缺失值

有些特征可能因为无法采样或者没有观测值而缺失，此时需要对这些缺失的特征值进行特殊处理。

1. 缺失值较多

如果该特征中的缺失值较多，则应该直接舍弃，否则反而可能引入较大噪声，造成反效果。

2. 缺失值较少

即当缺失值在 10% 以内时，我们可以采用多种方式处理：

• 将缺失值当一个特征处理，用 一个异常值表示， 如0

  1	data_train.fillna(0)

• 用均值填充

  通常一个策略是取相同 label 的数据的均值

  1	data_train.fillna(data_train.mean())

• 以上下数据填充

  1 2	data_train.fillna(method='pad') # 上一个数据填充 data_train.fillna(method='bfill') # 下一个数据填充

• 插值法

  1	data_train.interpolate() # 即估计中间点的值

• 用随机森林等算法拟合

  将数据分为有值和缺失值2份，对有值的数据采用随机森林拟合，然后对有缺失值的数据进行预测，用预测的值来填充。

特征常见处理手段

1.数值归一化

归一化的目的是将所有的特征都统一到一个大致相同的数值区间中。

从梯度下降的角度来看，对于两个特征x1，x2， x1的范围远远大于x2，在学习率相同的情况下，x1的更新速度会大于x2，需要较多的迭代才能得到最优解。

• 函数归一化： min-max 归一化， 零均值归一化（参考 Normalization 一节）
• 分维度归一化
• 排序归一化

2. 离散化

连续值的离散化：

• **等值划分：**将特征按照值域进行均分，每一段内的取值等同处理。例如某个特征的取值范围为[0，10]，我们可以将其划分为10段，[0，1)，[1，2)，…，[9，10)。
• 等量划分是根据样本总数进行均分，每段等量个样本划分为1段。

区别：例如距离特征，取值范围［0，3000000］，现在需要切分成10段，如果按照等比例划分的话，会发现绝大部分样本都在第1段中。使用等量划分就会避免这种问题，最终可能的切分是[0，100)，[100，300)，[300，500)，..，[10000，3000000]，前面的区间划分比较密，后面的比较稀疏。

共线性问题

对于回归算法而言， 其首先假设回归模型的解释变量之间不存在线性关系， 即解释变量X1，X2，……，Xk中的任何一个都不能是其他解释变量的线性组合。如果违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。

多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。

其实，简单来说，就是特征冗余，容易导致过拟合。

1. 如何判定共线性问题？

• 相关性分析。当相关性系数高于0.8，表明存在多重共线性；但相关系数低，并不能表示不存在多重共线性
• 方差膨胀因子VIF。当VIF大于5或10时，代表模型存在严重的共线性问题；
• 条件系数检验。 当条件数大于100、1000时，代表模型存在严重的共线性问题。

2. 如何消除共线性问题？

通常可通过PCA降维、逐步回归法和LASSO回归等方法消除共线性。

如何进行特征选择？

1. 特征分类

• 相关特征： 对于特定的任务和场景有一定帮助的属性，这些属性能有效提升算法性能。
• 无关特征：在特定的任务和场景下完全无用的属性，这些属性对对象在本目标环境下完全无用。
• 冗余特征：同样是在特定的任务和场景下具有一定帮助的属性，但这类属性已过多的存在，不具有产生任何新的信息的能力。

2. 如何考虑特征选择

可以从以下两个方面来选择特征：

• 特征是否具有发散性：某个特征若在所有样本上的都是一样的或者接近一致，即方差非常小。 也就是说所有样本的都具有一致的表现，那这些就不具有任何信息。
• 特征与目标的相关性：与目标相关性高的特征，应当优选选择。

3. 特征选择方法分类

• 过滤法：按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。
• 包装法：根据目标函数(通常是预测效果评分)，每次选择若干特征，或者排除若干特征。
• 嵌入法：先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。

4. 特征选择目的

• 减少特征维度，使模型泛化能力更强，减少过拟合;
• 降低任务目标的学习难度；
• 一组优秀的特征通常能有效的降低模型复杂度，提升模型效率

关联规则

https://www.jianshu.com/p/7d459ace31ab

关联规则挖掘是一种基于规则的机器学习算法，该算法可以在大数据库中发现感兴趣的关系。它的目的是利用一些度量指标来分辨数据库中存在的强规则。也即是说关联规则挖掘是用于知识发现，而非预测，所以是属于无监督的机器学习方法。

从所有可能规则的集合中选择感兴趣的规则需要利用一些度量方法来筛选和过滤，下面的三种方法。

关联规则的三个度

1. 支持度

支持度表示 item-set {X,Y} 在总 item-set 里出现的概率。其中， 表示总事务集， num()表示事务集里特定 item-set 出现的次数。比如： 表示总事务集的个数， 表示含有 {X,Y} 的事务集的个数（个数也叫次数）。

2. 置信度

置信度表示在先决条件X发生的情况下，由关联规则”X→Y“推出Y的概率。即在含有X的项集中，含有Y的可能性。

3. 提升度

提升度表示含有X的条件下，同时含有Y的概率，与Y总体发生的概率之比。

满足最小支持度和最小置信度的规则，叫做“强关联规则”。

• ，“X→Y”是有效的强关联规则。
• ，“X→Y”是无效的强关联规则。
• 特别地，，X与Y相互独立。

QA

1. 判断规则的有效性

题目：已知有1000名顾客买年货，分为甲乙两组，每组各500人，其中甲组有500人买了茶叶，同时又有450人买了咖啡；乙组有450人买了咖啡，如表所示，题目：茶叶→咖啡是一条有效的关联规则吗？

解答：

• 茶叶–> 咖啡的支持度为：
• 茶叶–>咖啡的置信度为：
• 茶叶–>咖啡的提升度为：

由于提升度Lift(X→Y) =1，表示X与Y相互独立，即是否有X，对于Y的出现无影响。也就是说，是否购买咖啡，与有没有购买茶叶无关联。即规则”茶叶→咖啡“不成立，或者说关联性很小，几乎没有，虽然它的支持度和置信度都高达90%，但它不是一条有效的关联规则。

2. 如果数据有问题，怎么处理?

• 上下采样平衡正负样例比
• 考虑缺失值
• 数据归一化

选择模型

🚀监督学习 分类、回归

监督学习需要有明确的目标，很清楚自己想要什么结果。 比如：按照“既定规则”来分类、预测某个具体的值

1. 选择一个适合目标任务的数学模型
2. 先把一部分已知的“问题和答案”（训练集）给机器去学习
3. 机器总结出了自己的“方法论”
4. 人类把”新的问题”（测试集）给机器，让他去解答

监督学习的2个任务：回归、分类

1. 分类 - 对各种事物分门别类，用于离散型
2. 回归 - 预测连续的、具体的数值

监督学习的任务是学习一个模型，对给定的输入预测相应的输出，这个模型的一般形式维一个决策函数或一个条件概率分布。

• 决策函数：输入 X 返回 Y；其中 Y 与一个阈值比较，然后根据比较结果判定 X 的类别

• 条件概率分布：输入 X 返回 X 属于每个类别的概率；将其中概率最大的作为 X 所属的类别

分类案例 如何预测离婚

1：构建问题，选择模型

对话能反映出夫妻之间潜在的问题，他们在对话中的争吵、欢笑、调侃和情感表露创造了某种情感关联。通过这些对话中的情绪关联可以将夫妻分为不同的类型，代表不同的离婚概率。

2：收集已知数据

3：训练出理想模型

4：对新用户进行预测

12年以来，每隔一两年，默里和戈特曼都会与参与研究的那700对夫妻交流。两个人的公式对离婚率的预测达到了94%的准确率

回归案例 芝麻信用分是怎么来的

个人信用评估方法——FICO

他跟芝麻信用类似，用来评估个人的信用状况。FICO 评分系统得出的信用分数范围在300～850分之间，分数越高，说明信用风险越小

下面我们来模拟一下 FICO 的发明过程，这个过程就是监督学习力的回归

1：构建问题，选择模型

财富总额貌似跟信用有关，因为马云不讲信用的损失是非常巨大的，所以大家从来没有听说马云会不还信用卡！而一个乞丐不讲信用的损失是很小的，这条街混不下去了换一条街继续。

2：收集已知数据

3：训练出理想模型

有了这些数据，我们通过机器学习，就能”猜测”出这5种数据和信用分数的关系。这个关系就是公式 f

测试验证的具体方法是：

1. 将5种数据套入公式，计算出信用分
2. 用计算出来的信用分跟这个人实际的信用分(预先准备好的)进行比较
3. 评估公式的准确度，如果问题很大再进行调整优化

4：对新用户进行预测

当我们想知道一个新用户的信用状况时，只需要收集到他的这5种数据，套进公式 f 计算一遍就知道结果了！

主流的监督学习算法

集成学习

https://www.jiqizhixin.com/articles/2018-07-28-3

组合多个弱监督模型以得到一个更好更全面的强监督模型，其思想在于：即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。

集成方法奏效的原因是不同的模型通常不会在测试集上产生相同的误差。集成模型能至少与它的任一成员表现得一样好。如果成员的误差是独立的，集成将显著提升模型的性能。

学习策略推荐：

• 数据集大： 划分成多个小数据集，学习多个模型进行组合。
• 数据集小： 利用 Bootstrap 方法进行抽样，得到多个数据集，分别训练多个模型再进行组合。

1. Bagging

代表模型： 随机森林， Bagging meta-estimator

先通过采样构造 k 个不同的数据集，学习得到k 个基学习器， 基学习器之间不存在依赖关系，可同时生成。

更具体的，如果采样所得的训练集与原始数据集大小相同，那所得数据集中大概有原始数据集 2/3 的实例

• Bootstrap： 一种有放回的抽样方法，目的是为了得到统计量的分布以及置信空间。

  1. 采用有放回抽样方法从原始样本中抽取一定数量的样本
  2. 根据抽出的样本计算想要得到的统计量T
  3. 重复上述N次（一般大于1000），得到N个统计量T
  4. 根据这N个统计量，即可计算出统计量的置信区间

• Bagging 的基本思路：

  1. 利用Bootstrap对训练集随机采样，重复进行 T 次
  2. 基于每个采样集训练一个弱学习器，得到 T 个弱学习器
  3. 预测时，分类问题采用投票方式， 回归问题采用 N 个模型预测平均方式。

2. Boosting

代表模型：AdaBoost， XGBoost， GBDT， Light GBM， CatBoost

学习一系列弱学习器，然后组合成一个强学习器。基于串行策略：弱学习器之间存在依赖关系，新的学习器需要根据上一个学习器生成。

• Boosting基本思路：

  1. 先从初始训练集训练一个弱学习器，初始训练集各个样本权重相同

  2. 根据上一个弱学习器的表现，调整样本权重，是的分类错误的样本得到更多关注

  3. 基于调整后的样本分布，训练下一个弱学习器、

  4. 测试时，对各基学习器加权得到最终结果

3. Stacking

训练一个模型用于组合其他各个模型。首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。

• Stacking 基本思路：首先我们先训练多个不同的模型，然后把之前训练的各个模型的输出为输入来训练一个模型，以得到一个最终的输出。

  • 先从初始训练集训练 T 个不同的初级学习器;
  • 利用每个初级学习器的输出构建一个次级数据集，该数据集依然使用初始数据集的标签；
  • 根据新的数据集训练次级学习器；
  • 多级学习器的构建过程类似。

QA

0. Boosting 与 Bagging 区别

• Bagging中每个训练集互不相关，也就是每个基分类器互不相关，而Boosting中训练集要在上一轮的结果上进行调整，也使得其不能并行计算
• Bagging中预测函数是均匀平等的，但在Boosting中预测函数是加权的

1. Boosting, Bagging 与偏差，方差

Boosting 能提升弱分类器性能的原因是降低了偏差；Bagging 则是降低了方差；

• Boosting：

  • Boosting 的基本思路就是在不断减小模型的训练误差（拟合残差或者加大错类的权重），加强模型的学习能力，从而减小偏差；
  • 但 Boosting 不会显著降低方差，因为其训练过程中各基学习器是强相关的，缺少独立性。

• Bagging：

  • 对 n 个独立不相关的模型预测结果取平均，方差是原来的 1/n；
  • 假设所有基分类器出错的概率是独立的，超过半数基分类器出错的概率会随着基分类器的数量增加而下降。

🚀非监督学习 聚类、降维

无监督学习是一种机器学习的训练方式，它本质上是一个统计手段，在没有标签的数据里可以发现潜在的一些结构的一种训练方式。

它主要具备3个特点：

1. 无监督学习没有明确的目的
2. 无监督学习不需要给数据打标签
3. 无监督学习无法量化效果

案例

案例1：发现异常

有很多违法行为都需要”洗钱”，这些洗钱行为跟普通用户的行为是不一样的，到底哪里不一样？

如果通过人为去分析是一件成本很高很复杂的事情，我们可以通过这些行为的特征对用户进行分类，就更容易找到那些行为异常的用户，然后再深入分析他们的行为到底哪里不一样，是否属于违法洗钱的范畴。

通过无监督学习，我们可以快速把行为进行分类，虽然我们不知道这些分类意味着什么，但是通过这种分类，可以快速排出正常的用户，更有针对性的对异常行为进行深入分析。

案例2：用户细分

这个对于广告平台很有意义，我们不仅把用户按照性别、年龄、地理位置等维度进行用户细分，还可以通过用户行为对用户进行分类。

通过很多维度的用户细分，广告投放可以更有针对性，效果也会更好。

案例3：推荐系统

大家都听过”啤酒+尿不湿”的故事，这个故事就是根据用户的购买行为来推荐相关的商品的一个例子。

比如大家在淘宝、天猫、京东上逛的时候，总会根据你的浏览行为推荐一些相关的商品，有些商品就是无监督学习通过聚类来推荐出来的。系统会发现一些购买行为相似的用户，推荐这类用户最”喜欢”的商品。

主流的非监督学习算法

🧠 非监督学习主要模型算法

训练

评估

参数调整 调优

🚀强化学习的主流算法 免模型学习、有模型学习

强化学习(reinforcement learning)

强化学习算法的思路非常简单，以游戏为例，如果在游戏中采取某种策略可以取得较高的得分，那么就进一步“强化”这种策略，以期继续取得较好的结果。这种策略与日常生活中的各种“绩效奖励”非常类似。我们平时也常常用这样的策略来提高自己的游戏水平。

在 Flappy bird 这个游戏中，我们需要简单的点击操作来控制小鸟，躲过各种水管，飞的越远越好，因为飞的越远就能获得更高的积分奖励。

这就是一个典型的强化学习场景：

• 机器有一个明确的小鸟角色——代理
• 需要控制小鸟飞的更远——目标
• 整个游戏过程中需要躲避各种水管——环境
• 躲避水管的方法是让小鸟用力飞一下——行动
• 飞的越远，就会获得越多的积分——奖励

在介绍详细算法之前，我们先来了解一下强化学习算法的2大分类。这2个分类的重要差异是：智能体是否能完整了解或学习到所在环境的模型

• 有模型学习（Model-Based）对环境有提前的认知，可以提前考虑规划，但是缺点是如果模型跟真实世界不一致，那么在实际使用场景下会表现的不好。

• 免模型学习（Model-Free）放弃了模型学习，在效率上不如前者，但是这种方式更加容易实现，也容易在真实场景下调整到很好的状态。所以免模型学习方法更受欢迎，得到更加广泛的开发和测试。

• 免模型学习 – 策略优化（Policy Optimization）
  这个系列的方法将策略显示表示为： \pi_{\theta}(a|s) 。 它们直接对性能目标 J(\pi_{\theta}) 进行梯度下降进行优化，或者间接地，对性能目标的局部近似函数进行优化。优化基本都是基于 同策略 的，也就是说每一步更新只会用最新的策略执行时采集到的数据。策略优化通常还包括学习出 V_{\phi}(s) ，作为 V^{\pi}(s) 的近似，该函数用于确定如何更新策略。

基于策略优化的方法举例：

• A2C / A3C, 通过梯度下降直接最大化性能

• PPO , 不直接通过最大化性能更新，而是最大化 目标估计 函数，这个函数是目标函数 J(\pi_{\theta}) 的近似估计。

• 免模型学习 – Q-Learning
  这个系列的算法学习最优行动值函数 Q^*(s,a) 的近似函数： Q_{\theta}(s,a) 。它们通常使用基于 贝尔曼方程 的目标函数。优化过程属于 异策略 系列，这意味着每次更新可以使用任意时间点的训练数据，不管获取数据时智能体选择如何探索环境。对应的策略是通过 Q^and \pi^ 之间的联系得到的。智能体的行动由下面的式子给出：

基于 Q-Learning 的方法

• DQN, 一个让深度强化学习得到发展的经典方法

• 以及 C51, 学习关于回报的分布函数，其期望是 Q^*

• 有模型学习 – 纯规划
  这种最基础的方法，从来不显示的表示策略，而是纯使用规划技术来选择行动，例如 模型预测控制 (model-predictive control, MPC)。在模型预测控制中，智能体每次观察环境的时候，都会计算得到一个对于当前模型最优的规划，这里的规划指的是未来一个固定时间段内，智能体会采取的所有行动（通过学习值函数，规划算法可能会考虑到超出范围的未来奖励）。智能体先执行规划的第一个行动，然后立即舍弃规划的剩余部分。每次准备和环境进行互动时，它会计算出一个新的规划，从而避免执行小于规划范围的规划给出的行动。

  • MBMF 在一些深度强化学习的标准基准任务上，基于学习到的环境模型进行模型预测控制

• 有模型学习 – Expert Iteration
  纯规划的后来之作，使用、学习策略的显示表示形式： \pi_{\theta}(a|s) 。智能体在模型中应用了一种规划算法，类似蒙特卡洛树搜索(Monte Carlo Tree Search)，通过对当前策略进行采样生成规划的候选行为。这种算法得到的行动比策略本身生成的要好，所以相对于策略来说，它是“专家”。随后更新策略，以产生更类似于规划算法输出的行动。

  • ExIt 算法用这种算法训练深层神经网络来玩 Hex
  • AlphaZero 这种方法的另一个例子

除了免模型学习和有模型学习的分类外，强化学习还有其他几种分类方式：

• 基于概率 VS 基于价值
• 回合更新 VS 单步更新
• 在线学习 VS 离线学习

预估

逻辑回归

Logistic 回归简介

logistic回归用于解决的是分类问题，其基本思想是：根据现有数据对分类边界线建立回归公式,以此进行分类。也就是说，logistic 回归不是对所有数据点进行拟合，而是要对数据之间的分界线进行拟合。

• 逻辑回归的本质： 极大似然估计
• 逻辑回归的激活函数：Sigmoid
• 逻辑回归的代价函数：交叉熵

Logistic 回归的数学表达

如何求解最优的

首先，我们依旧是要找到一个合适的损失函数，在Logistic回归中的损失函数为：

我们最终给它加一个正则化项：

最后，我们要求最优参数的话，依旧是使用梯度下降算法来获取 的最小值时对应的参数。

QA

1. 逻辑回归与线性回归

• 逻辑回归处理分类问题，线性回归处理回归问题

• 线性回归的拟合函数本质上是对 输出变量 y 的拟合， 而逻辑回归的拟合函数是对 label 为1的样本的概率的拟合。

• 线性回归其参数计算方式为最小二乘法， 逻辑回归其参数更新方式为极大似然估计。

• 线性回归更容易受到异常值的影响， 而LR对异常值有较好的稳定性。

2. 推导一下 LR

• sigmoid :

• LR 的定义：

• LR 满足伯努利分布：

• 损失函数（极大似然）: 对于训练数据集，特征数据 和其对应的分类标签 ， 假设 m 个样本是相互独立的，那么极大似然函数为：

  那么它的 log 似然为：

• 参数优化（梯度上升）

• 损失函数：

3. LR 如何实现多分类？

• 方式1： 修改逻辑回归的损失函数，使用softmax函数构造模型解决多分类问题，softmax分类模型会有相同于类别数的输出，输出的值为对于样本属于各个类别的概率，最后对于样本进行预测的类型为概率值最高的那个类别。
• 方式2： 根据每个类别都建立一个二分类器，本类别的样本标签定义为0，其它分类样本标签定义为1，则有多少个类别就构造多少个逻辑回归分类器。

若所有类别之间有明显的互斥则使用softmax分类器，若所有类别不互斥有交叉的情况则构造相应类别个数的逻辑回归分类器。

4. LR 为何要对特征进行离散化

• 非线性。 逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合； 离散特征的增加和减少都很容易，易于模型的快速迭代；
• 速度快。 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展
• 鲁棒性。 离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰；
• 方便交叉与特征组合： 离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力。
• 稳定性： 特征离散化后，模型会更稳定，比如如果对用户年龄离散化，20-30作为一个区间，不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反，所以怎么划分区间是门学问。
• 简化模型： 特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。

5. 逻辑回归中，增大 L1 正则化会是什么结果

所有参数 w 都会变成 0。

线性回归

简单来说，线性回归算法就是找到一条直线（一元线性回归）或一个平面（多元线性回归）能够根据输入的特征向量来更好的预测输出y的值。

其本质含义在于 X 与 Y 是线性相关的。

1. 线性回归如何训练？

在线性回归中， 我们可以通过两种方法来求取参数 ， 一种是采用正规方程， 一种是采用梯度下降方法。

1. 损失函数

2. 正规方程

我们使用 对 求导， 得到：

令上式为0，我们可以得到 的值为：

我们可以直接通过矩阵运算来求出参数 的解。 而上式我们发现其涉及到了矩阵的可逆问题，如果 可逆，那么参数 的解唯一。 如果不可逆， 则此时就无法使用正规方程的方法来解。

3. 梯度下降法

我们可以采用批量梯度下降算法， 此时有：

4. 两种方法的比较

• 梯度下降中需要选择适当的学习率
• 梯度下降法中需要多次进行迭代，而正规方程只需要使用矩阵运算就可以完成
• 梯度下降算法对多特征适应性较好，能在特征数量很多时仍然工作良好， 而正规方程算法复杂度为 ，所以如果特征维度太高（特别是超过 10000 维），那么不宜再考虑该方法。
• 正规方程中矩阵需要可逆。

岭回归

岭回归本质上是 线性回归 + L2 正则化。

岭回归与线性回归

线性回归中通过正规方程得到的 w 的估计：

但是，当我们有 N 个样本，每个样本有 ， 当 N < p 时， 不可逆， 无法通过正规方程计算，容易造成过拟合。

岭回归通过在矩阵 上加一个 来使得矩阵可逆， 此时的 w 的估计：

而岭回归本质上是对 进行 L2 正则化， 此时的 表示为：

那么对 的极大似然估计有：

那么我们就解得：

因此说， 岭回归本质上是 线性回归 + L2 正则化， 从而达到抑制过拟合的效果。

Lasso 回归

Lasso 回归的本质是 线性回归 + L1 正则化。

ElasticNet 回归

ElasticNet 回归 本质上是线性回归 + L1正则化 + L2 正则化。

LWR 局部加权回归

在线性回归中， 由于最终拟合出来的曲线是一条直线，其拟合能力极为有限（也可以解释为线性回归所求的是具有最小均方误差的无偏估计），因此很容易造成欠拟合现象， 而针对这个问题，有人提出了局部线性回归(LWR)。

局部加权回归其思想很简单： 我们对一个输入 w 进行预测时，赋予了 x 周围点不同的权值，距离 x 越近，权重越高。整个学习过程中误差将会取决于 x 周围的误差，而不是整体的误差，这也就是局部一词的由来。

在LWR中， 其损失函数为：

此时，使用回归方程求得：

而通常， 服从高斯分布， 在x周围指数型衰减;

其中， k 值越小，则靠近预测点的权重越大，而远离预测点的权重越小。所以参数k的值决定了权重的大小。

• k越大权重的差距就越小，k越小权重的差距就很大，仅有局部的点参与进回归系数的求取，其他距离较远的权重都趋近于零。
• 如果k去进入无穷大，所有的权重都趋近于1，W也就近似等于单位矩阵，局部加权线性回归变成标准的无偏差线性回归，会造成欠拟合的现象；
• 当k很小的时候，距离较远的样本点无法参与回归参数的求取，会造成过拟合的现象。

LDA

LDA 叫做线性判别分析，又叫做Fisher 线性判别函数， 其是一种有监督的降维技术，其思想为：投影后类内方差最小，类间方差最大。

简单来说，我们将数据向低维超平面上投影时， 投影后希望每一种类别数据的投影点尽可能的接近，而不同类别的数据的类别中心点的距离尽可能的大。

QA

1. 最小二乘法估计

其中有：

那 么，最终就得到：

考虑到 与 的结果其实都是一维实数且二者为转置，因此，二者的值相等， 那么就有：

那么就有：

从而就得到：

2. 最小二乘法的几何解释

3. 从概率角度看最小二乘法

最小二乘法隐藏的一个条件是： 误差服从正态分布。

我们假设起始条件：

假设误差服从正态分布，那么则有：

那么当噪声服从正态分布时，输出值也服从正态分布：

极大似然过程推导：